#LLM 서버

레몬네이드, 실험적 vLLM ROCm 백엔드 추가

오픈소스 LLM 서버인 레몬네이드(Lemonade)에 AMD GPU 환경을 위한 vLLM ROCm 백엔드가 실험적으로 추가되었습니다. 이번 업데이트로 인해 모델을 GGUF 포맷으로 변환할 필요 없이 .safetensors 형식의 LLM을 직접 구동할 수 있게 되어, AMD 그래픽카드 사용자들의 모델 활용성이 크게 향상되었습니다. 개발진은 핵심 기능은 구현되었으나 일부 불안정한 부분이 존재하며, 향후 개발 방향을 잡기 위해 커뮤니티의 피드백을 적극적으로 요청하고 있습니다.

AMD 레모네이드: GPU·NPU 활용 오픈소스 로컬 LLM 서버

AMD가 GPU와 NPU를 모두 활용하여 매우 빠르고 프라이빗한 로컬 AI 환경을 제공하는 오픈소스 서버 '레모네이드(Lemonade)'를 공개했습니다. 이 도구는 단 2MB 크기의 가벼운 C++ 백엔드 기반으로 작동하며, Windows, Linux, macOS 모두를 지원하고 표준 OpenAI API와 호환되어 수많은 앱과 즉시 연동됩니다. 텍스트, 이미지 생성, 음성 인식 및 생성까지 아우르는 통합 API를 제공함으로써, 누구나 자신의 PC에 부담 없이 고성능 로컬 AI를 구축할 수 있는 실용적인 솔루션을 제안합니다.